Lên 7 tuổi, Ngô Minh Loan đã phải vào làm việc trong nhà máy Diêm - Bến Thủy. Được các anh Lê Mao, Lê Viết Thuật, Nguyễn Lợi, Nguyễn Phúc, Vi Nình… làm việc trong nhà máy Diêm tận tình giúp đỡ, Ngô Minh Loan nhanh chóng hòa chung cuộc sống với giai cấp công nhân Vinh - Bến Thủy nên sớm giác ngộ cách mạng.

Năm lên 13 tuổi Ngô Minh Loan được các đồng chí Lê Mao, Lê Viết Thuật, Nguyễn Lợi, Nguyễn Phúc hoạt động trong tổ chức Đảng Tân Việt giao nhiệm vụ làm liên lạc và canh gác các cuộc họp bí mật.

Ngày 3-2-1930, Đảng Cộng sản Việt Nam ra đời, nhân ngày Quốc tế lao động 1-5-1930, Đảng phát động công-nông mít tinh, biểu tình chống áp bức, đòi tăng tiền lương, giảm giờ làm, giảm sưu, giảm thuế. Ngô Minh Loan đã mang theo gậy đi biểu tình, hòa trong dòng người trên đường phố, hô vang các khẩu hiệu đấu tranh đòi quyền lợi cho giai cấp công nông và thợ thuyền.

Sau cuộc đấu tranh của công nông Vinh - Bến Thủy trong ngày 1-5-1930, nhà máy Diêm bị đóng cửa, Ngô Minh Loan xin sang làm công nhân nhà máy gỗ. Được mấy tháng, công việc nặng nhọc, có lần thấy tên cai đánh đập một anh công nhân ốm yếu, Ngô Minh Loan thấy chuyện bất bình liền đến can thiệp. Vì chống lại tên cai, hôm sau Ngô Minh Loan bị đuổi việc, anh lại xin sang nhà máy rũa cưa (Braseur) thuộc hãng SIFA. Được các đồng chí đảng viên đi trước tuyên truyền, bày cách, Ngô Minh Loan hăng hái đi treo cờ, rải truyền đơn, đi mít tinh, biểu tình chống bọn chủ nhà máy để đòi các quyền lợi…

Năm 1932, khi phong trào Xô Viết Nghệ Tĩnh bị đàn áp khủng bố trắng, các đồng chí Đảng viên người bị giết, người bị tù, bọn cai xếp trong các nhà máy thừa cơ đánh đập, cúp phạt, đuổi thợ, cuộc sống của công nhân bị bóp nghẹt. Cũng may lúc bấy giờ bà Hồ Thị Tư mẹ Ngô Minh Loan nhờ khéo tay có nghề làm bánh đa, bánh phở nên kiếm được đồng ra đồng vào. Cuộc sống và cái ăn của gia đình tạm đủ, bà Tư cho Ngô Minh Loan nghỉ việc ở nhà máy để đi học. Thời gian đầu Ngô Minh Loan xin vào học tại trường Phan Bá Tuân. Nhờ sáng dạ, thông minh nên anh đã thi đỗ vào trường Cao Xuân Dục tại Vinh. Sau 5 năm học hành chăm chỉ, Ngô Minh Loan đã đỗ bằng Tiểu học.

Học xong nhưng vẫn chưa xin được việc làm, Ngô Minh Loan lại tham gia phong trào Mặt trận dân chủ. Năm 1937, anh tham gia các cuộc mít tinh của nhân dân Nghệ An đón tiếp GôĐa để đưa bản dân nguyện. Ngô Minh Loan có ấn tượng sâu sắc khi được nghe trưởng đoàn Hà Huy Giáp nói chuyện tại thành phố Vinh. Anh được đồng chí Nguyễn Thị Nhuận và Siêu Hải giúp đỡ, bố trí công việc cùng Hồ Mỹ Xuyên mở quầy bán sách báo, phục vụ nhân dân nhằm nâng cao dân trí.

Trong những năm đầu hoạt động cách mạng tại Thành phố Hải phòng, ông hoạt động trong phong trào công nhân cùng các đồng chí Tô Hiệu, Bùi Đình Đổng (sau là Thứ trưởng Bộ Xây dựng, Giám đốc Nhà máy Xi măng Hải phòng).

Năm 1939 ông bị thực dân Pháp bắt đưa lên giam cầm 3 năm tại nhà tù Sơn La. Từ đó ông có biệt danh hùm xám Sơn la. Thời gian bị giam tại nhà tù Sơn La, Ngô Minh Loan bị tăng án đến hai lần. Lần đầu do ông đã đánh lại một tên lính coi tù để giải thoát cho chính trị vượt ngục. Lần thứ hai vì tội bí mật tổ chức cướp súng cho quân Việt Minh. Khi bị bắt lần hai, Ngô Minh Loan bị giam trong xà lim, cạnh phòng đồng chí Tô Hiệu, người tù chính trị mà tên tuổi đã đi vào sử sách.

Khi mặt trận Việt Minh ra đời, Ngô Minh Loan càng hăng hái luyện tập quân sự, mong ngày ra tù được phục vụ nhiều nhất cho cách mạng.